视频生成背后：Kling 多模态理解的观察与洞察
🧭 多模态理解 · 视频生成可控性
从数据-条件-对齐-评估链剖析多模态理解如何提升可控视频生成质量
📌 工作参考价值（4 点）
- Captioning 作为语义契约：在电商多模态内容（商品图/短视频）理解中，可借鉴「描述密度最大化」思路，把 caption 从简单标签升级为细粒度语义描述，提升后续生成/匹配的上限。
- Prompt enhancement 的 RL 在环设计：将用户 query 翻译到高质量描述分布，用文本级 RL 和生成器在环 RL 迭代优化，可直接迁移到推荐系统的 query 改写、广告文案生成，避免只靠 LLM 静态改写。
- 候选从文本单独筛选：训练多模态生成模型前先用文本特征筛选候选，节省端到端训练成本；在商品短视频生成或创意素材筛选中，可先用文本描述打分快速过滤低质候选。
- 奖励模型解耦通用与决策：通用 reward model 做可解释局部批评，决策 reward model 做快速多维评分，可作为电商内容审核、素材优选的双层打分架构参考。
DMAD：分布匹配即对抗蒸馏，用于快速视觉生成
🧭 扩散模型对抗蒸馏加速生成
Texas A&M University · Intelligent Creation, ByteDance
把分布匹配蒸馏重构为对抗式分类，免去辅助 score 模型并实现 1.04 FID 一步生成
📌 工作参考价值（4 点）
- 工程上，若做商品图/视频/AIGC 的少步扩散蒸馏，可借鉴共享 backbone + 两个判别头的设计，避免维护不断更新的辅助 score 模型，降低显存和计算，简化训练管线。
- gap-based reweighting 根据真实样本与教师样本的判别 logit gap 动态调节蒸馏监督，这种自适应加权方式可迁移到推荐排序蒸馏、LLM 生成质量判别蒸馏等场景，替代固定权重。
- 对于生成式推荐中的 Semantic ID / 商品文案 / 营销物料生成，若希望用少步生成模型降低推理延迟，可尝试把分布匹配目标写成判别损失，并利用 real-teacher gap 调整监督；比单独训练交叉熵或 score 模型更省资源。
- 论文证明的 logit→log-density ratio 恒等式是通用理论：已有判别器或 LLM reward model 时，用线性 logit 损失就能近似分布梯度，可尝试接入 Agent 或多模态生成 Reward 模型做策略优化。
VTR-Bench：视频生成中视觉文本渲染的系统性评测基准
🧭 视频生成评测 · 文本渲染
City University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong Institute of AI for Science, City University of Hong Kong · Westlake University · University of Electronic Science and Technology of China
系统评估视频生成模型的场景文本渲染能力，并提出关键帧引导的Agentic改进框架
📌 工作参考价值（4 点）
- 广告/商品视频生成：引入 WER/字符级 OCR 校验，把品牌名、价格、卖点文案作为硬性 text fidelity 指标，纳入 AIGC 创意 pipeline 的自动验收，避免错误文案上线。
- 关键帧先验与迭代：在生成视频前先用图像模型生成并校验关键帧文字，通过视觉反馈做 candidate selection / refinement；这比直接烧视频生成更省成本，适合筛选电商展示素材。
- Agentic Director 架构可迁移：Director 协调图像/视频生成与视觉评估，把“生成-检查-修正”闭环用于多模态广告 Agent，结合 prompt-specific chain-of-query 同时检查场景/运动约束。
- 评测分离 fidelity 与 semantic/motion：自动评测时用 carrier-specific transcription 和 chain of query，避免单一 VLM 打分；对多模态 Agent 输出的结构化和可归因评估有参考价值。
在世界模型中训练对象永久性
🧭 视频世界模型 · 对象永久性推理
University of Southern California · Carnegie Mellon University · University of Michigan · Johns Hopkins University · University of California, San Diego
构建 150 类认知任务 Blender 数据生成器，产出 1.5M 视频训练集并微调 16B 模型，在对象永久性盲测中 continuation 类第一
📌 工作参考价值（4 点）
- 借鉴程序化生成数据的思路：把核心认知/业务结构固定（如用户意图、商品属性关系），随机化干扰因子（视角、光照、渲染参数）批量合成训练样本，用于提升多模态模型对核心特征的鲁棒性，类似电商商品图/视频的合成增强。
- 构建小规模但高针对性的任务族 + 专门微调：用 150 类认知任务、每类 10k 样本的紧凑数据即可在特定物理推理能力上超过大模型，可用于快速补齐商品视频生成、3D 试穿等模型的物理合理性短板。
- 盲测 Elo 评估范式：对多个生成模型输出做匿名成对比较再计算 Elo，比单指标分数更接近人类感知排序，适合评估广告文案、商品描述或推荐理由生成质量。
- 发布权重和训练栈的做法可参考：如果要复现或继续微调，公开训练栈和权重能降低多模态模型训练成本，团队内也可沉淀类似工具。
VideoGen-Agent：强化视频生成智能体
🧭 多模态 Agent 工具使用与强化学习
Princeton University · Stanford University · UC Davis · MMLab, CUHK · Independent
通过多任务智能体强化学习训练多模态 Agent 协调外部工具，显著提升复杂视频生成任务的指令遵循能力。
📌 工作参考价值（4 点）
- 多工具 Agent 的「检索/增强 → 生成 → 验证」闭环可迁移到电商导购 Agent：先搜索增强获取商品知识，再生成推荐理由/文案，最后校验属性一致性与用户意图覆盖，提升复杂需求满足率。
- 奖励函数分解为工具调用合法性、任务适配性、内容质量三类，并做类别平衡与类别感知加权，可借鉴到推荐/广告文案生成 Agent 的训练中，避免只优化点击或转化导致工具滥用或内容偏置。
- 先 SFT 教师轨迹再 RL 精调，且生成工具可独立升级无需重训 Agent，这种解耦架构在业务中可大幅降低迭代成本：底层生成模型或检索库更换后，策略网络无需重新训练。
- VABench 的评估维度（专业知识、身份保持、物理一致性、场景构图、多镜头时序）可迁移为电商视频/商品描述生成的评测框架，尤其多实体身份一致性和时序事件逻辑值得借鉴。
RewardVerse：细则引导的视频奖励模型策略优化
🧭 视频生成奖励建模 · Rubric 引导优化
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · The Hong Kong University of Science and Technology · Tencent
提出动态 rubric 中间表示与两阶段 RGPO 训练，缓解视频奖励模型标量漂移，点/对偶评估达 SOTA
📌 工作参考价值（4 点）
- 若在搜索/推荐里用 LLM-as-judge 或 reward model 评估生成内容（广告文案、标题、推荐理由、短视频素材），不要把质量直接映射成单 scalar；先生成针对 query/商品类目的动态 rubric，再基于 rubric 打分，可缓解不同 prompt/类目间的分数漂移，使 RL/排序信号更稳定。
- RGPO 两阶段训练可迁移：先用一批人工/规则 seed rubrics warm up scorer 对齐人类评分，再联合微调 rubric generator 生成 query-adaptive criteria，避免直接联合训练导致 rubric 崩坏或打分不稳定。
- Self-evolving seed rubrics 类似于软知识蒸馏/增强：可让 rubric generator 在少标注下扩展评价准则；在电商类目多、标注贵场景可以用 seed rubric + 自演化减少人工规则成本。
- 该框架给奖励判断带来可解释中间表示，便于审核、错误归因和人工校准；上线 reward model 前可把它作为诊断 scalar drift 的工具。
Video DeltaNet：面向直播视频生成的视频原生混合注意力
🧭 视频生成 · 混合线性注意力加速
University of California, Berkeley · Impossible, Inc. · University of Texas at Austin
提出 Video DeltaNet，用局部 Softmax 注意力+双向线性记忆加速视频扩散，在 MiniMax H3 上实现 14.5 倍去噪加速
📌 工作参考价值（4 点）
- 混合注意力可用于用户长期行为序列建模：对最近行为用局部 Softmax 精确捕捉，对远期行为用线性 memory 压缩，控制长序列推理成本；推荐/广告的 user sequence transformer 可以尝试。
- 分阶段 teacher-alignment 是向预训练模型注入新模块的低风险方法：先固定原主干，单独训练新分支对齐教师输出，再逐步解冻联合微调；适合在已有排序/召回模型上实验新型注意力。
- 按语义单元（session/帧/事件）更新 memory 而非逐 token：直播、短视频等场景中，用户在一个 session 内的行为可以聚合更新，减少状态更新频率，同时保持序列语义完整。
- few-step distillation + 分布式 serving 可大幅压缩生成式模型推理延迟：业务上如创意文案生成、商品视频摘要等可借鉴 8 步蒸馏和 SGLang 优化栈。
可编程世界模型
🧭 世界模型 · 显式状态与渲染解耦
Alaya Lab
将世界状态演化与视频生成解耦，用可执行程序维护持久全局状态，以3D OBB为中间表示驱动预训练视频模型
📌 工作参考价值（4 点）
- 在生成式推荐或广告文案生成中，可借鉴“显式状态引擎 + 生成渲染器”的架构：将库存、价格、用户状态等业务规则放在符号化状态机中维护，LLM 只负责生成符合当前状态的文案/推荐理由，避免长对话或多步推荐中事实不一致。
- 用 LLM 将自然语言策略转成可执行程序（如 on_hit、win/lose 规则）的思路，适合推荐策略的自动化编排：把运营规则（如“库存低于阈值则降低曝光”）用程序表达，可审计、可回滚，比直接让模型隐式学习更可控。
- 中间表示的做法——将结构化状态（如商品布局、用户行为序列）编译为生成模型的条件信号，可用于可控商品图/视频生成，提升布局、属性与业务约束的像素级对齐。
- 评估基准设计可迁移：对交互式推荐/对话系统，可采用 Count Accuracy 和 State Accuracy 这类细粒度状态一致性指标，衡量长程交互中的用户状态、上下文跟踪能力。
面向相机条件世界模型的奖励建模方法 WorldReward
🧭 多模态奖励建模 · VLM 视频评估
Fudan University · Tencent Hunyuan · Shanghai Innovation Institute · Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
用 VLM 将长视频按动作分块并投票聚合，统一评测动作一致性与视觉质量
📌 工作参考价值（4 点）
- 长序列生成（如多步商品推荐、对话式导购、视频广告脚本）中，可借鉴“动作对齐分块 + 结构化证据 + 逐块决策投票”的思路，避免长上下文稀释局部关键信号，适合构建 LLM 评估器或奖励模型。
- 偏好数据构建可复用其管线：先由 frontier VLM 生成结构化判断，再用工具化 agent 审计和定向人工复核，降低标注成本并提高一致性，适用于内容生成质量评估、AIGC 审核等场景。
- 在电商多模态生成（如商品视频、虚拟试穿）中，建议拆分“任务完成度”与“画质/自然度”双 reward 分别聚合，避免单一指标失衡，便于 RL 后训练。
- 若业务涉及“按指令生成视频/图片”，可参考其 benchmark 设计：按人类偏好分维度（动作/外观/运动）测量 reward model 一致性，而非只看整体分数，从而更精准定位模型短板。
PAWBench：视频世界模型概率对齐差距基准
🧭 世界模型评估 · 概率对齐
Shanghai Jiao Tong University · Shanghai AI Laboratory · Krea AI · Hugging Face · Shanghai Innovation Institute
构建50场景基准评估11个视频生成系统，发现无一能稳定复现物理行为的参考概率分布
📌 工作参考价值（4 点）
- 在生成式推荐或用户行为模拟中，不能只看单次生成结果的 plausibility；应增加分布级评估：对同一 context 重复采样，比较生成结果的类别/行为分布与真实分布的校准误差，捕捉模式坍塌与多样性缺失。
- PAWEval 的 outcome-level 思路可直接迁移：把高维生成内容映射到可判定的低维结果空间（如点击/转化/浏览路径类别），再做经验分布对比，避免像素级评估高成本且难判校准。
- 论文测试了语言 prompt、初始噪声、模型训练对预测分布的干预，对推荐系统里用 prompt 工程、采样温度/噪声、RLHF/DPO 调整生成分布有参考价值：应衡量这些干预对分布形状的迁移，而不仅是 top-1 指标变化。
- 若电商团队在训练 LLM/视频生成式的用户轨迹或广告创意世界模型，要注意当前模型即使内容真实，也未必覆盖全部有效行为；需要加入分布正则或多样性约束，避免只学到高频、低风险的输出。
划分支持集并重构残差：面向视频生成与世界模型的训练-free稀疏注意力
🧭 训练-free 稀疏注意力加速视频 Transformer
Texas A&M University
训练-free稀疏注意力，通过响应耦合分区与探针拟合残差重构，在视频生成和世界模型中保持质量并加速1.48-2.61倍
📌 工作参考价值（4 点）
- 对长序列用户行为建模的 Transformer 推理，可借鉴训练-free 稀疏注意力：先按 query 与 key 的响应相关性做块划分，再用少量 probe query 精确计算残差，用仿射校正补偿被跳过的注意力，避免重新训练。
- 适合已有预训练电商/推荐大模型在线上做低成本加速，不需改权重，直接以更低的 executed-pair density（如 22-26%）换取 1.5-2.6x 端到端吞吐提升。
- 探针拟合成本低、效果贡献大，可以在工程实现中作为轻量残差模块嵌入，优先保证 probe 数量和选择策略，而不是复杂的分区方法。
- 若有多头注意力且头间分布差异明显，可做 head-dependent 稀疏策略，本方法中的响应耦合分区思路可迁移到不同 head 和长序列场景。
SemComp-Bench：语义任务完成视频生成基准
🧭 视频生成评估 · 语义任务完成
University of Science and Technology of China · FrameX.AI · Sun Yat-sen University
提出 SemComp-Bench 基准，用 VLM 评估视频生成在结果达成与语义 grounding 上的表现
📌 工作参考价值（4 点）
- 评估思路可迁移：在商品短视频/广告创意生成中，聚焦最终结果是否达成与任务相关语义是否保持，不必苛求逐帧一致，降低审核成本。
- 采用 VLM 回答结构化二值问题输出 OA/GR 两个分数，可在生成式推荐中分离“目标达成”和“语义相关性”做自动化质量评测，定位失败环节。
- 四阶段数据 curation pipeline 可参考：从原始视频自动提取参考图、指令和结果片段，规模化构建业务生成评估集，加速模型迭代。
- Semantic grounding 定义允许无关属性变化，可迁移到电商商品属性控制：只绑定关键属性（材质、形状、功能），其他外观可多样化，适配创意生成。
EmoWorld：面向可控情感视频生成的解耦情感场
🧭 可控情感视频生成 · 解耦情感场
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
将情感因素解耦为氛围、语义线索与时间进程，在冻结视频扩散变换器中实现精细化情感控制
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量控制向量：抽取 layer-wise affect directions 并注入隐藏状态，不改动生成器参数。类似思路可复用到电商文案/广告图生成，快速调节情感基调（温馨、紧迫、高端）而不重训模型。
- 因素解耦独立调节：VAS（氛围）、SAS（语义线索）、TAS（时间过渡）分模块控制，可借鉴到生成式商品推荐中，分别控制产品卖点、场景氛围、促销节奏的生成。
- 可重用线索库：准备阶段构建 reusable cue library，推理时按需组合。适用于批量生成多风格素材的场景，如节日大促自动换肤、多套广告创意快速迭代。
- 时序情感弧线控制：TAS 通过插值残差场实现情感平滑过渡，可启发电商直播话术或短视频脚本的情感递进设计，增强内容感染力。
PhiZero：基于物理语言的物理世界模型
🧭 物理世界建模 · 离散视觉表示
NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA)
从野生视频自监督学习紧凑离散物理语言，先推理后渲染实现物理一致生成与零样本动作迁移
📌 工作参考价值（4 点）
- 将连续动态抽象为离散 token 序列的思路可迁移至用户行为建模：用 vector quantized 方式学习行为语义 ID，在紧凑空间内捕捉状态转移规律，降低下游序列预测的复杂度。
- 自监督学习“物理语言”的方法对无标注交互数据的表征学习有启发：从原始点击/购买序列中挖掘隐含因果结构，无需昂贵标注即可获得可推理的隐状态表示。
- “推理-渲染”分离的架构可拆解推荐系统：先由 Planner 生成抽象行为序列，再交由 Renderer 生成具体推荐内容，提升可解释性并支持可控生成。
- 主要贡献在物理世界建模，直接迁移至电商推荐场景的工程化价值有限，更多是概念层面的借鉴。
ShadowDancer：从视频与影子学习统一动力学表征实现任意动作控制
🧭 视频世界模型 · 动作表征学习
Alaya Lab · Shanghai Innovation Institute
通过影子对与跨影子预测解耦外观与动作，使视频世界模型零样本复用任意演示动作。
📌 工作参考价值（4 点）
- 解耦外观与行为的数据增强思路：在电商/推荐中，用户行为序列（动作）常与内容表象（外观）纠缠。可借鉴“影子对”构造：对同一意图（如搜索同一品类）在不同 UI 皮肤或不同设备下的交互对，训练模型剥离表面特征，得到更纯的意图表征，提升跨场景迁移能力。
- 通过预测任务学习不变表征：cross-shadow prediction 直接以预测配对样本为目标，隐式舍弃无关变化。推荐系统可构造类似预训练任务：给定同一用户在不同上下文下的行为序列片段，预测彼此，使模型聚焦于提取不变的用户潜在兴趣，减少 noises 影响。
- 无需标注的动作复用：该方法将已有视频片段直接转化为可复用的控制信号，无需额外动作标签。对应到 Agent 或营销内容生成，可利用历史用户交互轨迹作为模板，直接在新内容上“重放”类似动线，快速生成个性化交互流程。
- 长序列一致性控制：block-causal 架构与统一动力学表征保证长期回放稳定。在生成式推荐（如生成购物路径）中，可借鉴该结构维持多步生成的逻辑连贯性，避免中间步骤崩塌。
VideoCoCo：基于双引擎与可执行代码思维链的物理一致视频生成
🧭 视频生成 · 可执行代码思维链
CUHK · USTC · SCUT · HKU · NTU
用可执行 Blender 代码作为过程级思维链，将物理推理与视觉生成解耦，显著提升视频物理一致性
📌 工作参考价值（4 点）
- 双引擎“过程推理 + 精细生成”的架构可启发在推荐系统中分离策略规划（如用户意图理解、多步交互设计）与内容生成，提升复杂流程的可控性。
- 用可执行代码作为中间表示，确保了确定性、可解释和可审计，类似思想可用于推荐场景中需要严格逻辑保证的环节（如营销规则引擎、动态定价逻辑）。
- 为适应模拟草稿域差异而专门构建配对数据集的方法，可迁移到推荐系统的域适配数据增强，例如合成用户行为轨迹与真实轨迹的对齐训练。
- 整体工作偏向视频生成，直接用于搜推系统的业务点有限，更多是架构与表示层面的理念参考。
GraphVid：交互图控制的多对象视频生成
🧭 结构化场景图控制视频生成
University of Illinois Urbana-Champaign · Sony Research India
提出用可编辑场景图作为条件，实现精确多对象交互的图像到视频生成
📌 工作参考价值（4 点）
- 商品互动视频生成：在电商场景中，利用图关系描述商品之间的使用关联（如「手机–支付终端–用户」），自动化生成展示商品动态交互的营销视频。
- 轻量可控生成框架：冻结视频扩散骨干，仅训练图条件注入模块，大幅减少参数量和训练数据需求，能快速适配到特定领域（如试穿、3C 产品演示）。
- 非专业用户交互设计：通过拖拽编辑场景图节点和边，使无动画背景的用户也能生成多物体动态视频，降低内容制作门槛。
- 可解释的条件控制：图结构天然对应知识图谱，在推荐系统中可与商品图谱结合，实现可解释的「条件」推荐内容生成（例如按用户兴趣图谱生成个性化短视频）。
HOMIE：多模态智能增强的人-物中心视频个性化
🧭 人-物交互视频个性化生成
Hong Kong University of Science and Technology
统一处理 inter/intra-subject 的视频个性化框架，通过 MLLM 全局引导注意力提升人-物交互保真度
📌 工作参考价值（4 点）
- 视频个性化在电商中可用于虚拟试穿或商品展示，该工作对人-物交互的可控生成有直接价值，尤其保持主体身份的同时实现合理交互。
- MLLM 融入自注意力的全局多模态引导方式可借鉴：在推荐系统中融合多模态特征时，可尝试在注意力层注入预训练多模态大模型的高层语义特征，增强物品与用户行为的对齐。
- 模态引用嵌入区分不同来源特征（如图像、文本、MLLM 特征），可迁移至多模态用户建模，显式编码不同类型行为序列的模态差异，提升特征融合质量。
- 对抽象概念（如品牌 logo）的自动关联方法，可用于商品属性与视觉风格的隐式绑定，增强生成式推荐中 semantic ID 的视觉化表达。
OpenCoF：通过视频生成学习链式帧推理
🧭 Chain-of-Frame 推理
ByteDance Seed · CUHK MMLab · CUHK IMIXR
提出 Chain-of-Frame 推理范式，通过多样化时序监督和显式推理 token 增强视频生成模型的推理能力
📌 工作参考价值（4 点）
- 该工作主要面向视频生成与多模态推理，与电商/推荐系统的直接关联较弱，但其中 Chain-of-Frame 的时序展开思想 可启发序列推荐中的多步状态建模：将用户行为序列或物品状态变化视为“推理帧”，利用视频生成模型进行未来交互的预测。
- 显式推理 token 机制（视觉 token 捕获低级线索，文本 token 编码高级语义）在设计多模态推荐模型时可借鉴：将商品图像、描述等异构信息分离处理，再融合决策，避免特征纠缠。
- 论文强调的 多样化时序监督 对推荐系统同样有启示：在训练序列模型时，增加不同粒度和任务的时序预测目标（如下一步行为、长期兴趣）可提升模型对时序依赖的理解。
- 整体上，该方法属于基础研究，工程落地成本高，业务可借鉴点有限，但可关注后续是否向智能体环境模拟、A/B 测试方案生成等方向拓展。
RoboTALES: 用任务对齐模拟未来学习推理引导的机器人策略
🧭 LLM/VLM 协同推理与视频想象策略
University of California, San Diego
提出层次LLM规划器与VLM批评家联合引导视频生成，使机器人策略在长视野操作任务上显著优于现有方法
📌 工作参考价值（4 点）
- 层次化LLM任务分解可用于复杂推荐流程：将多步推荐（如先吸引兴趣再推荐买点）拆解为子目标序列，指导生成式模型逐步生成商品描述、话术或创意，提升过程可控性。
- VLM critic 反馈对齐生成目标：在文案/素材生成中引入视觉-语言模型做“想象结果”评估，通过 reward 微调内部表征，让生成内容更贴合最终转化意图，类似 RLHF 但针对多模态生成。
- 单阶段端到端训练框架：无需预训练视频模型分离，直接把规划、想象与策略学习串联优化，适合将 Agent 的规划模块与执行模块联合训练，减少模块间误差累积。
- 用生成式模型做“世界模拟器”：在推荐系统中，可以预测用户兴趣演化轨迹（想象未来行为），据此提前布局推荐序列，类似用扩散模型生成用户状态 rollouts。
Vidu S1：支持语音控制的实时交互视频生成模型
🧭 实时交互视频生成
Tsinghua University · Shengshu Technology
实现语音控制数字角色的无限时长实时视频生成，消费级GPU上540p/42 FPS
📌 工作参考价值（4 点）
- 对于电商数字人客服/直播场景，可借鉴语音实时驱动角色视频的思路，实现低延迟交互式导购
- TurboDiffusion/TurboServe 的加速方法可能迁移到推荐系统流量侧的实时推理优化，如降低特征抽取或排序模型延迟
- 支持用户上传自定义形象和音色，类似个性化推荐中“用户自定义偏好”的模式，可启发商品推荐中的个性化表达
- 整体属于视频生成领域，与搜索推荐的核心业务关联有限，但实时交互范式对构建Agent化购物助手有参考意义
面向内存高效自回归视频生成的实例特定参数吸收方法
🧭 自回归生成 · 参数化KV缓存压缩
Institute of Information Engineering, Chinese Academy of Sciences · The University of Hong Kong · AMAP, Alibaba Group
ISPA首次将KV缓存压缩从丢弃转变为实例级参数蒸馏，在视频生成中实现50%缓存缩减且质量无损
📌 工作参考价值（4 点）
- 在推荐系统的长序列Transformer或生成式推荐模型中，可借鉴ISPA将部分层转为局部注意力，并通过最小二乘将历史缓存吸收到权重中，节省推理内存。
- 预热阶段监测全注意力和局部注意力的输出差异来确定转换点，可用于Agent对话历史压缩，动态决定何时将旧上下文编码进模型参数。
- 闭式解的权重调制无需重新训练，适合在线推理时实时进行缓存压缩，可直接集成到现有KVCache管理的工程框架中。
- 对于电商场景的实时生成（如商品描述、直播推流），用ISPA减少视频/文本自回归生成的KV缓存，提升吞吐。
WorldDirector：解耦式可控世界模拟与持久动态记忆
🧭 世界模型 · 视频生成与模拟
HKUST · Ant Group · ZJU · CUHK
将3D语义运动编排与视频生成解耦，用LLM生成控制轨迹，实现持久动态对象记忆与高可控长视频合成
📌 工作参考价值（4 点）
- 解耦控制与生成的思路可迁移至生成式推荐：先用 LLM 编排用户意图阶段或促销节律，再控制具体物品生成，提升推荐结果的可控性与逻辑性。
- 持久动态记忆模块启发长期用户兴趣建模：即使某类商品长期无交互，仍维持其隐状态，在重新出现时快速恢复相关性，可改进长序列召回。
- 利用 LLM 生成结构化控制信号（如行为路径）的方法，可用于模拟用户交互序列，生成高质量仿真数据，辅助离线策略评估和训练。
- 因果块自回归生成方式可类比于推荐中的分阶段决策，将推荐列表分块生成并保持块间一致性，避免一次性输出过长序列导致的逻辑断裂。
世界行动模型综述
🧭 具身预测行动模型设计空间
National University of Singapore
对具身预测-行动模型给出统一分类与设计权衡，强调“少预测未来、多聚焦控制”
📌 工作参考价值（4 点）
- 构建推荐环境用户仿真器（世界模型）时，可借鉴“生成更少未来，只保留控制所需信息”的设计原则，用潜在状态预测替代完整行为序列生成，降低计算与数据成本。
- 解耦预测基座与行动策略的设计模式可用于推荐 Agent：例如用轻量 Transformer 预测用户短期意图，将重计算留给策略决策，平衡延迟与丰富度。
- 从交互性、因果性、持久性等维度评估世界模型，可迁移到推荐系统 A/B 测试前的离线模拟器质量检查，特别关注分布外鲁棒性。
- 论文对视频生成 VS 潜在预测 VS 无生成推理的分支梳理，提示在搜索推荐 Agent 中也可根据场景（实时改价 vs 长期策略）选择不同程度的“未来预测”实现。
闭环三元协同长视频生成
🧭 闭环视觉-文本-记忆协同的长视频生成
University of Science and Technology of China · Microsoft Research Asia
提出闭环视觉-文本-记忆协同框架，迭代纠正多镜头视频中的身份漂移和不一致问题。
📌 工作参考价值（4 点）
- 闭环验证-修正机制可迁移至生成式推荐：在生成商品描述、个性化文案时，引入VLM或评判模型检测生成结果与用户意图/商品属性的一致性，自动触发重生成或prompt refine。
- 实体中心记忆可用于用户/物品的长期建模：维护一个可更新的记忆状态，追踪实物属性变化和跨会话演进，提升多轮对话推荐或个性化agent的连贯性。
- 代理框架分解复杂生成任务：将长流程切分为规划-执行-批评的agent回路，可用于搜索推荐流程自动化（如自动选品、策略组合、创意生成）。
- 多镜头一致性优化思想可用于视频广告素材生成：确保多个片段中品牌/产品视觉元素保持一致，提升广告质量。
PermaVid：通过解耦上下文记忆实现跨编辑一致视频生成
🧭 视频生成 · 解耦多模态记忆
Shanghai Jiao Tong University · Stanford University · S-Lab, Nanyang Technological University · The Chinese University of Hong Kong · Shanghai Innovation Institute
提出解耦语义外观与几何结构的多模态记忆，结合编辑感知更新，实现视频编辑后的长期一致性生成。
📌 工作参考价值（4 点）
- 解耦记忆设计可启发多模态商品表征：在电商中，将商品视觉特征解耦为外观（颜色、纹理）与几何（形状、结构）分别记忆，可提升虚拟试穿、商品编辑等场景的一致性。
- 编辑感知的记忆更新策略可借鉴到用户兴趣模型：当用户行为发生突变（如切换品类）时，类似更新机制能避免过时记忆干扰，维持长期兴趣建模的连贯性。
- 多模态记忆引导的生成框架可应用于个性化商品展示：利用混合模态参考条件（图像+深度）生成一致性的商品视频或图片，增强生成式推荐的视觉质量。
- 整体上，主要贡献在视频生成，但解耦记忆与一致性维护思路对推荐系统的多模态序列建模有一定跨界启发。
LoomVideo：5B 参数统一多模态视频生成与编辑的高效架构
🧭 多模态视频生成与编辑统一架构 ★ 深度解读
Peking University · Alibaba Group
用 MLLM + Deepstack 注入 + 零开销 Scale-and-Add 条件机制，在 5B 规模实现统一视频生成编辑并加速 5.41 倍
📌 工作参考价值（4 点）
- 用 MLLM 替代 T5 编码多模态输入：在电商商品视频生成或虚拟试穿中，可直接使用多模态大模型（如 Qwen3-VL）处理交错图文指令，而无需单独设计文本编码器，提升对商品属性、换装等复杂要求遵循能力。
- Scale-and-Add 零开销条件注入：避免在视频编辑时拼接源视频 token 导致序列翻倍、注意力计算平方增长。在需要融合历史帧或源视频的任务中（例如动态商品展示、视频重渲染），可直接将源视频潜变量按时间步缩放后加到目标潜变量，实现极速推理。
- Deepstack 多层特征注入：将 MLLM 每一层隐藏状态经 MLP 投影后作为 DiT 对应层的 cross-attention key/value，实现深层次语义对齐。这种设计可迁移到跨模态推荐或内容生成中，提升多模态条件遵循能力。
- 三阶段渐进训练 + RL 后训练：先低分辨率对齐 MLLM，再提分辨率引入重建/编辑，最后加入多参考图等多任务微调，并辅以 RL 优化人类偏好。该管线可借鉴用于训练电商场景的统一生成式模型，从单任务逐步扩展，稳定提升质量。
Bernini：通过潜在语义规划统一视频生成与编辑
🧭 视频生成 · 语义规划
Bytedance
将 MLLM 语义规划与 DiT 像素渲染解耦，模块化组合实现高效视频生成与编辑
📌 工作参考价值（4 点）
- 模块化生成框架：将视频生成拆分为语义规划（MLLM）与像素渲染（DiT）两个独立模块，可在电商商品视频生成中复用预训练 MLLM 的视觉理解能力，降低渲染器迭代成本。
- 语义级接口设计：使用 ViT embedding 作为中间表示，让规划与渲染仅需轻量联合训练，适合业务中快速适配新的编辑需求，如虚拟试穿、商品展示变换。
- SA-3D RoPE 位置编码：处理多帧、多视角输入时，段感知的 3D 旋转位置编码可迁移至多模态推荐中的视频理解编码器，提升长序列时空表征。
- 推理链引入生成：在规划器中加入 chain-of-thought ，能将复杂编辑指令分解为中间步骤再生成语义计划，可借鉴到 Agent 的视觉生成任务，提高指令遵循性。
一句话，一部剧：基于多智能体系统的个性化短剧生成
🧭 多智能体短剧生成与3D空间一致性 ★ 深度解读
Nanyang Technological University · National University of Singapore · Beijing Institute of Technology · Tsinghua University · University of Electronic Science and Technology of China
层次化多智能体框架将单句创意转为完整短剧，融合多智能体辩论、3D锚定首帧与多阶段评审，实现叙事节奏、空间一致性与制片质量协同优化。
📌 工作参考价值（4 点）
- 多智能体辩论与多阶段评审循环的设计可直接借鉴到电商/Agent场景的复杂内容生成（如商品创意脚本、虚拟主播对话），通过独立评委评比与局部修正提升输出质量，避免全盘重生成。
- 3D场景锚定与共享坐标系维持空间一致性的思路，可迁移至虚拟试穿、虚拟直播间的商品展示一致性，用简单3D重建约束多帧生成，防止物品漂移。
- 检索增强的剧本原子库（Pattern Bank、Logic Bank）为个性化推荐解释或创意生成提供了一种结构化知识复用模式，尤其适合高频、强节奏的内容创作。
- 但整体偏视频生成，与推荐、Agent优化的核心业务直接耦合度较低，价值主要在生成式内容的工程化与质量控制思想。
FlowLong：基于流形约束Tweedie匹配的推理时长视频生成
🧭 长视频生成 · 推断时优化
KAIST · Amazon
在推理时通过滑动窗口重叠的Tweedie匹配与随机早期采样实现无训练、架构无关的长视频生成
📌 工作参考价值（4 点）
- 长序列生成的一致性控制：对于电商场景中需要生成长商品描述、营销故事或多模态内容时，可借鉴滑动窗口重叠与Tweedie匹配机制，在序列拼接处保持语义和风格连贯，避免内容漂移。
- 无需重新训练的低成本扩展：该推理时方法无需额外微调模型，可直接应用于已部署的视频/文本生成模型，快速赋予其生成长内容的能力，适合业务快速迭代。
- 随机早期采样抑制重复模式：在生成过程的早期阶段注入噪声，能有效避免自回归生成中的重复和单调问题，这一思路可迁移至对话式推荐或交互式叙事生成，提升内容多样性。
- 架构无关的插件化设计：方法不依赖特定模型结构，对Transformer或扩散模型均适用，为已有生成系统提供统一的长序列生成插件，降低集成成本。
PhyWorld：通过流匹配与DPO后训练提升视频生成物理忠实度
🧭 视频生成世界模型后训练
Northeastern University · University of Georgia · Tulane University · EmbodyX
二阶段后训练（流匹配微调 + DPO）让视频生成模型产出物理更合理的时序延续
📌 工作参考价值（4 点）
- 两阶段后训练流程可复用：先流匹配微调保时序一致性，再用DPO对齐偏好，这种组合可迁移到推荐系统的商品视频生成，例如改善动态展示的连贯性和物理合理性。
- 偏好对构建思路：通过仿真引擎生成物理正确/违背的视频对，可为其他领域提供人工标注之外的偏好数据构造方法，例如用商品3D模型渲染符合物理规律的交互视频。
- 细粒度评估基准设计：分物理定律打分的评估方案可用于生成式推荐中检验生成内容的属性控制，如光照、运动是否符合预期。
- 业务可借鉴点有限：整体面向物理AI仿真，与电商/Agent直接关联较弱，主要学术贡献在于世界模型后训练。
Genflow广告工作室：品牌对齐、自纠错的复合式AI视频生成架构
🧭 多智能体自纠错视频生成 ★ 深度解读
Google
通过检索品牌DNA约束和多智能体对抗QC循环将品牌合规视频生成合格率从42%提升到89%
📌 工作参考价值（4 点）
- 多智能体对抗QC循环可直接借鉴到内容质量审核：用不同角色的VLM并行检查内容（如品牌合规、文本纠错），汇总后由编排器给出修复建议，实现迭代纠错，适用于商品文案、广告素材的自动校验。
- 强类型结构化输出保证流水线鲁棒性：用Pydantic模型强制LLM输出JSON Schema，避免下游工具解析失败，推荐在生成式推荐、Agent指令编排中采用相同范式。
- 品牌DNA的RAG式注入：从网页自动提取品牌规范（颜色、字体、视觉禁忌）作为约束基座，电商详情页生成时可将商品信息与品牌规范结合，避免风格漂移。
- 状态传递解决多阶段生成连贯性：通过将上一帧输出作为下一帧输入实现时序一致性，可迁移到多轮对话Agent的记忆管理或分步生成任务中。
基于潜在流恢复的分秒级人类动画生成
🧭 视频生成·长时一致性维护
通过持久潜在上下文记忆与恢复流匹配解决长时动画生成中的累积漂移
📌 工作参考价值（4 点）
- 持久上下文记忆机制可借鉴到多轮对话 Agent 中，维护长期用户状态或商品上下文连贯性，防止遗忘。
- 恢复流匹配的隐式恢复目标类似于生成式推荐解码中加入一致性约束，可尝试在序列生成中保持全局一致性。
- 轻量 LoRA 微调策略成本低，对于需要持续优化长序列输出的业务（如商品描述生成、对话流）有借鉴意义。
- 分块处理+跨块记忆传播的思路可应用于长文本/序列生成，例如分块生成推荐理由时跨块传递上下文向量，避免语义漂移。
Pelican-Unified 1.0：统一理解、推理、想象与行动的具身基础模型
🧭 具身智能 · 统一多模态基础模型
首个按统一原则训练的具身基础模型，用单一VLM实现理解、推理、想象与行动，同规模下多项性能最优
📌 工作参考价值（4 点）
- 统一多任务的架构思路：用一个VLM同时承担理解与推理，将场景、指令、历史动作映射到共享语义空间，避免多个专家系统的拼接，降低系统复杂度，适合电商场景中需要融合文本、图像、用户行为序列的多任务统一建模。
- 未来生成器联合预测视频与动作：通过同一去噪过程同时产生未来视觉和未来行动，并将语言、视频、动作损失回传至共享表示，这种联合训练能让模型学到更丰富的环境动态表征，对需要想象用户未来行为的推荐模型有启发，可以尝试在用户序列预测中同时生成行为与上下文。
- 自回归思维链生成与潜变量投影：VLM在单次前向中输出任务、动作和未来导向的思维链，并将最终隐状态投影为潜变量，作为未来生成的Condition，这类似于将推理过程显式化为离散Token再总结为稠密向量，可以借鉴到Agent决策或推荐解释中，提升推理的可控性和下游生成质量。
- 一个Checkpoint保持各能力竞争力：实验表明统一训练不会导致能力妥协，对工业部署友好，可减少线上模型数量和版本管理成本，适合电商中需要同时具备理解、推理、想象能力的基础模型建设。
RefDecoder：条件视频解码增强视觉生成
🧭 条件视频解码器架构优化
University of Washington · University of North Carolina at Chapel Hill
为视频VAE解码器注入参考图像条件，绕过潜在信息瓶颈，显著提升重建保真度与生成一致性
📌 工作参考价值（4 点）
- 条件解码器即插即用：RefDecoder 可无缝替换已有视频生成管线（如 Wan 2.1）的解码器，无需重新训练扩散模型，工程实现成本低，适合快速提升线上视频生成质量。
- 高保真参考信号注入：通过参考注意力将原始图像细节直接送入解码过程，避免了 VAE 潜在压缩导致的信息丢失，该思想可迁移至电商商品图/视频的高细节重建，改善纹理、文字等易损失元素。
- 轻量级参考编码器设计：采用独立的小网络将参考帧映射为细节 token，与潜在 token 在解码器各上采样阶段协同处理，可借鉴到多模态生成任务中，如 Agent 根据一张高质量参考图指导视频生成或虚拟试穿。
- 多任务泛化能力：在风格迁移、视频编辑等任务上表现良好，可赋能电商素材的自动化精修、换背景、风格化等场景，减少人工后期成本，提升内容生产效率。
基于物理的3D人体运动奖励用于视频生成
🧭 物理引导的人体运动视频生成
UNC Chapel Hill · FieldAI · NTU Singapore · AI2 · Johns Hopkins University
提出结构化3D运动奖励PhyMotion，通过物理仿真多维度评估运动真实感，显著提升视频生成中的人体运动质量
📌 工作参考价值（4 点）
- 奖励信号设计：将难以直接评估的运动真实感分解为运动学、接触/平衡、动力学三个可量化维度，每个维度提供连续可解释信号，该分解思路可借鉴用于电商场景（如商品图文一致性、合规性）的多维奖励设计。
- RL后训练方法：在视频生成模型上用RL优化精心设计的奖励，仅带来适中的训练开销，且不影响整体视频质量，这种低侵入性微调可参考用于可控文本生成或推荐模型的特定属性优化。
- 多维度互补监督：消融实验证实三个轴信号互补，单独使用效果次优，提示在设计评估或奖励体系时需覆盖多个独立方面以避免盲点。
- 外部仿真器验证：引入MuJoCo物理仿真器作为奖励的一部分，可缓解模型“奖励黑客”问题，类似思想可迁移到生成式推荐或对话Agent中，用规则引擎或知识图谱做校验，提升生成结果的逻辑一致性。